Pasukan kebangsaan Jerman

Pada 26 Julai 2004, Klinsmann kembali ke Jerman sebagai ketua jurulatih pasukan kebangsaan Jerman yang baru menggantikan bekas rakan sepasukannya, Rudi Völler. Klinsmann kemudiannya memulakan program agresif untuk merombak pengurusan pasukan. Beliau membawa bekas penyerang Jerman, Oliver Bierhoff ke dalam barisan pengurusan pasukan. Tambahan lagi, beliau menubuhkan pergerakan belia untuk memberi nafas kepada pasukan Jerman setelah dilanda bencana pada kejohanan UEFA Euro 2004. Dalam menghadapi Piala Dunia 2006, Klinsmann dilempar kritikan oleh penyokong dan media Jerman berikutan beberapa keputusan hambar pasukan seperti kekalahan 4-1 kepada Itali. Beliau mengumumkan pemain-pemain muda yang beraksi untuk Piala Dunia 2006 berdasarkan poisi pemilihannya berdasarkan persembahan bukan reputasi.

Ketika kejohanan Piala Konfederasi 2005, Klinsmann sering memutar penjaga gol mengikut persembahan mereka. Pada 7 April 2006, Klinsmann akhirnya menentukan untuk meletakkan Oliver Kahn di bangku simpanan dan memilih Jens Lehmann sebagai pilihan pertama penjaga gol. Pemilihan ini ditentukan selepas persembahan Lehmann dalam aksi Liga Juara-Juara 2006 yang mana Arsenal layak ke perlawanan akhir sebelum tumpas kepada Barcelona.

Dalam saingan Piala Dunia 2006, kritikan terhadap pasukan kendalian Klinsmann terus membisu. Hal ini kerana Jerman mencatatkan keputusan kemenangan berterusan dalam saingan peringkat kumpulan menentang Costa Rica, Poland dan Ecuador sekali gus meletakkan Jerman sebagai juara kumpulan A. Dalam saingan seterusnya, mereka mengetepikan cabaran Sweden dengan kemenangan bergaya 2-0. Mereka seterusnya melakar kemenangan dramatik ke atas Argentina menerusi penentuan penalti selepas terikat seri 1-1 hasil jaringan penyamaan Miroslav Klose pada minit ke-80.[19]

Pada perlawanan separuh akhir bertemu Itali, pasukan Jerman terpaksa akur menerima kekalahan 2-0 hasil jaringan lewat masa tambahan oleh Fabio Grosso dan Alessandro Del Piero.[20] Selepas perlawanan tersebut, Klinsmann memuji persembahan pemain mudanya. Mereka seterusnya menewaskan Portugal 3-1 pada perlawanan penentuan tempat ketiga dan Kahn beraksi menggantikan tempat Lehmann.[21] Kemenangan itu mencetuskan perarakan besar-besaran di Berlin di mana Klinsmann dan pasukan kendaliannya diberi penghormatan orang ramai.

Setelah itu, Franz Beckenbauer sebelum ini yang lantang mengkritik Klinsmann mengatakan keinginan beliau untuk melihat Klinsmann terus menjadi jurulatih Jerman. Bukan itu sahaja, orang ramai turut menyatakan sokongan secara meluas terhadap Klinsmann disebabkan semangat juang pasukannya dan gaya permainan yang menarik. Prestasi kukuh pasukan itu dianggap oleh sesetengah pihak telah memperbaharui "kebanggaan negara" dan memulihkan reputasi Jerman sebagai sebuah negara besar dalam arena bola sepak. Disebabkan kejayaan mengendalikan pasukan kebangsaan, Klinsmann dianugerahkan Bundesverdienstkreuz.

Walaupun Klinsmann mempamerkan prestasi yang cemerlang semasa mengendalikan Jerman di Piala Dunia dan memperoleh banyak pujian, Klinsmann enggan memperbaharui kontraknya dan beliau memaklumkan kepada DFB mengenai keputusannya pada 11 Julai 2006. Keputusan tersebut secara rasminya diumumkan DFB pada 12 Julai 2006. Pembantu Klinsmann, Joachim Löw dilantik menjadi ketua jurulatih baru dalam sidang yang sama.[22][23]

Bayern Munich

Pada Julai 2008, Klinsmann mengambil alih jawatan ketua jurulatih Bayern Munich dengan menggantikan Ottmar Hitzfeld.[24] Klinsmann mmereka pembangunan pemain baru dan pusat prestasi Bayern bagi membentuk pasukan baru untuk menghadapi kempen Bundesliga dan Liga Juara-Juara UEFA. Di bawah kendaliannya, Bayern melangkah ke peringkat suku akhir Liga Juara-Juara dan mereka tewas kepada FC Barcelona yang akhirnya menjadi juara edisi tersebut. Klinsmann dipecat pada 27 April 2009 dengan berbaki lima perlawanan. Perlawanan terakhirnya ialah kekalahan 1–0 kepada FC Schalke 04. Bayern menghuni tempat ketiga liga saat pemecatannya. Sepanjang mengendali Bayern, beliau mencatatkan 25 kemenangan, sembilan seri dan sepuluh kekalahan dalam semua kejohanan.

Toronto FC

Pada November 2010, Klinsmann dilantik menjadi konsultan teknikal bagi kelab Major League Soccer, Toronto FC untuk memberi nasihat mengenai baik pulih latihan dan kakitangan kelab tersebut yang membawa perlantikan Aron Winter sebagai ketua jurulatih dan Paul Mariner sebagai pengarah teknikal pada tahun berikutnya.[25] Seterusnya, Winter dan Mariner dipecat oleh pihak kelab apabila Toronto menghuni tempat tercorot pada musim 2012.

Pasukan kebangsaan Amerika Syarikat

Pada 29 Julai 2011, Klinsmann telah dinamakan sebagai ketua jurulatih pasukan kebangsaan Amerika Syarikat (A.S.) sekali gus meletakkannya sebagai jurulatih ke-35 dalam sejarah membimbing pasukan negara "Uncle Sam".[26]

Pasukan A.S. pada mulanya bergelut dengan empat kekalahan dan satu seri sebelum menamatkan tahun 2011 dengan kemenangan ke atas Slovenia. Pada 29 Februari 2012, pasukan A.S. memulakan kebangkitannya dengan kemenangan bersejarah 1-0 ke atas Itali. Kejayaan ini merupakan kemenangan pertama ke atas juara dunia empat kali itu sejak tahun 1934.[27] Pada 15 Ogos 2012, Klinsmann mengendali A.S. melakar kemenangan bersejarah sekali lagi kali ini ke atas musuh ketat Mexico, 1-0 di Estadio Azteca, sekali gus meletakkan kemenangan pertama A.S. ke atas Mexico di stadium tersebut. Tahun 2012 Klinsmann membimbing Amerika Syarikat mencapai peratusan kemenangan terbaik mereka dalam sejarah.

Pada 2 Jun 2013, pasukan A.S. beraksi dengan cemerlang di bawah pengurusan Klinsmann apabila menentang negara tanah airnya, Jerman yang berkesudahan A.S. menang 4-3. Pada 28 Julai, Klinsmann membimbing A.S. untuk meraih Piala Emas CONCACAF kelima dengan menewaskan Panama 1-0 pada aksi final.[28] Pada 10 September 2013, selepas menang 2-0 ke atas Mexico, Amerika Syarikat menempah tempatnya ke Piala Dunia FIFA 2014 di Brazil. Pada 12 Disember 2013, Klinsmann menandatangani kontrak baru bersama Persekutuan Bola Sepak Amerika Syarikat sehingga tahun 2018.[29]

Klinsmann dilontar kritikan pada Mei 2014 apabila beliau meminggirkan Landon Donovan daripada senarai akhir pemain A.S. ke Piala Dunia.[30] Klinsmann mengungkapkan perkara ini sebagai "keputusan sukar dibuat sebagai jurulatih" tetapi beliau melihat pemain-pemain lain lebih ke hadapan berbanding Donovan.[31] Klinsmann seterusnya menghadapi kontroversi lagi apabila anaknya, Jonathan menghantar komen di Twitter menghina Donovan[32] menyebabkan beberapa pihak membuat spekulasi bahawa keputusan itu dipengaruhi oleh permusuhan peribadi antara Klinsmann dan Donovan.[33]

Pada 16 Jun, Klinsmann mengendali pasukan Amerika Syarikat meraih kemenangan 2-1 ke atas Ghana dalam aksi pembukaan Piala Dunia 2014. Pada 22 Jun, pasukannya mencatat keputusan seri 2-2 bertemu Portugal pada perlawanan seterusnya. Pada 26 Jun, pasukan A.S. berhadapan dengan Jerman. Biarpun tumpas 1-0, harapan ke pusingan 16 masih terbuka kerana Portugal berjaya menewaskan Ghana 2-1.[34]

Pasukan Amerika Syarikat dicabut bertemu dengan Belgium dalam peringkat kalah mati. Selepas 90 minit perlawanan, skor masih menunjukkan keputusan tanpa jaringan sekali gus membawa ke masa tambahan. Pasukan Belgium yang kerap melancarkan serangan bertali arus akhirnya menjaringkan dua gol pada masa tambahan. Namun, Julian Green berjaya menghasil gol buat A.S. menerusi gol voli menarik. Namun, pasukan A.S. gagal mencari gol penyamaan sebelum mereka tersingkir daripada saingan.[35]

Pasukan A.S. mencatat kemenangan 1-0 ke atas Republik Czech dalam perlawanan persahabatan pada 3 September dan kejayaan ini merupakan kemenangan pertama A.S. ke atas negara Czech. Pada 5 Jun 2015, Klinsmann mengendali A.S. melakar kemenangan dramatik 4-3 ke atas Belanda di Amsterdam dan menang ke atas Jerman selang lima hari kemudian.[36]

Pasukan Amerika Syarikat melangkah ke peringkat akhir kelayakan Piala Dunia 2018 pada November 2016. Klinsmann seterusnya menyusun pasukan dengan membawa masuk pemain muda seperti Christian Pulisic, pemain remaja yang sering dimasukkan ke dalam kesebelasan utama Borussia Dortmund, Jordan Morris, Pemain Remaja Terbaik MLS 2016 dan Gyasi Zardes, penyerang untuk pasukan Los Angeles Galaxy. Pasukan A.S. terpaksa memulakan kempen akhir kelayakan Piala Dunia 2018 dengan berhadapan dua penghuni ranking tertinggi CONCACAF iaitu Mexico dan Costa Rica. Walaupun tewas kedua-dua perlawanan tersebut, pasukan A.S. masih mempunyai lapan perlawanan dan berpotensi mengutip 24 mata untuk layak ke Piala Dunia 2018.

Namun, Persekutuan Bola Sepak A.S. secara rasminya melucutkan Klinsmann dari jawatan pengurus pasukan kebangsaan A.S. pada 21 November 2016 dan menggantikan beliau dengan Bruce Arena, bekas pengurus pasukan A.S. yang dipecat selepas kempen Piala Dunia 2006.